Về lai lịch của Ittōsai thì có nhiều thuyết khác nhau và đến giờ vẫn chưa thể đánh giá được đâu là đúng. Về năm sinh thì có thuyết nói Ittōsai sinh năm 1550 (niên hiệu Tenmon thứ 5), có thuyết nói sinh năm 1560 (Eiroku thứ 3), mất năm 1628 (Kan-ei thứ 5), lại có thuyết nói ông mất vào năm 1632 khi đã 90 tuổi. Nhưng tựu trung đều thống nhất rằng Ittōsai là người quận Itō thuộc xứ Izu ngày xưa, lấy nơi xuất thân làm họ. Tuy nhiên tại Itō, địa phương được cho là nơi xuất thân của Ittōsai thì lại hoàn toàn không lưu truyền một huyền thoại, giai thoại nào về nhân vật Itō Ittōsai này.

Tuy nhiên, nếu dựa theo giai thoại về thanh kiếm Kamewari-tō (kiếm chém bình) thì thấy Ittōsai xuất thân từ Izu Ōshima, một hòn đảo phía Bắc quần đảo Izu. Năm 14 tuổi, Itō bám theo một tấm khung cửa bơi đến Mishima, tỉ thí với viên tư tế quản đền thờ ở đó là Toda Ippō. Itō thắng trận tỉ thí và được tư tế ban cho bảo kiếm. Một lần khác Itō dùng kiếm này chém chết 7 tên đạo tặc, tên cuối cùng trốn vào trong chiếc bình to và Itō dùng kiếm chém đứt đôi cái bình lẫn người bên trong. Vì thế thanh kiếm có tên là Kamewari-tō. Tuy nhiên, theo sách "Ittō-ryū densho" thì Itō ra đời ở miền Tây Nhật Bản và theo Yamada Jirōkichi, một kiếm thuật gia nổi danh thời Meiji thì trong truyền thư của phái kiếm Kotōda-ryū có ghi chép chuyện Ittōsai ra đời ở Katata thuộc xứ Ōmi. Lại theo sách "Ehon Eiyū Bidan" thì Ittōsai là người vùng Kanazawa xứ Kaga hay vùng Tsuruga xứ Echizen, là kiếm sư của võ tướng Ōtani Yoshitsugu, thành chủ Tsuruga. Vị võ tướng này sau tử chiến trong trận Sekigahara nên Ittōsai trở thành võ sĩ vô chủ, sau về ở ẩn ở xứ Shimōsa đến cuối đời. Về nơi chết của Ittōsai, cũng có thuyết cho rằng ông chết ở thành phố Sasayama thuộc xứ Tamba.